from langchain.text_splitter import RecursiveCharacterTextSplitter,CharacterTextSplitter
from ..config import chunk_size

text_splitter = RecursiveCharacterTextSplitter(
    # Set a really small chunk size, just to show.
    separators=["\n\n", "\n","。",""," "],
    chunk_size=chunk_size,
    chunk_overlap=0,
    length_function=len,
    is_separator_regex=False,
    # keep_separator=True, # 这个别开，会有cluster只有。
)

if __name__=='__main__':

    a='''
    浙江大学：\n根据《教育部关于印发〈高等学校基础研究珠峰计划〉的通知》(教技〔2018〕9号)和《教育部关于印发〈前沿科学中心建设方案(试行)〉的通知》(教技〔2018〕10号)要求，在你校组建培育基础上，教育部按照“成熟一个，建设一个”原则，组织专家对脑与脑机融合前沿科学中心(以下简称“中心”)进行了立项建设论证。根据专家论证意见，经研究，教育部决定予以立项建设。\n请你校以建成具有国际“领跑者”地位的创新中心和人才摇篮为目标。一是完善建设规划，根据建设目标，认真研究吸纳专家组意见，进一步完善建设规划，明确建设任务，创新建设模式和实现路径。二是落实政策保障，强化主体建设责任，按照建设申请报告内容要求，整合资源，优化要素配置，给予中心系列政策支持和相应人财物自主权。三是加大建设力度。把中心建设作为世界一流大学和一流学科建设的重要抓手，结合“双一流”建设规划布局，汇聚整合各类创新资源，发挥学科群优势，面向世界汇聚一流人才团队，促进学科深度交叉融合，建设体制机制改革示范区，率先实现前瞻性基础研究、引领性原创成果的重大突破，在关键领域自主创新中发挥前沿引领作。。用。。。。。\naaa教育部\n2018年9月27日。。。。
    '''
    texts = text_splitter.split_text(a)
    print(texts)

